Na área de inteligência artificial, a equipe DeepSeek lançou recentemente sua mais nova pesquisa, apresentando um mecanismo inovador de atenção esparsa chamado NSA (Native Sparse Attention). O objetivo principal dessa tecnologia é acelerar o treinamento e a inferência de contexto longo, especialmente otimizado para hardware moderno, resultando em um aumento significativo na eficiência de treinamento e inferência. O lançamento da tecnologia NSA trouxe mudanças significativas para o treinamento de modelos de inteligência artificial. Primeiramente, por meio de uma série de otimizações para hardware de computação moderno,

Em 22 de janeiro de 2025, o Google lançou oficialmente uma versão aprimorada de seu modelo de raciocínio Gemini 2.0 Flash Thinking, retomando o primeiro lugar no Chatbot Arena. Esta atualização concentra-se principalmente na capacidade de processamento de contexto longo, suportando até 1 milhão de tokens de entrada, fornecendo aos usuários uma análise mais profunda ao lidar com textos longos. Jeff Dean, chefe de IA do Google, afirmou durante o lançamento que esta atualização experimental visa melhorar o

Recentemente, modelos de linguagem grandes (LLMs) com janelas de contexto extra longas tornaram-se um tópico de discussão popular. Esses modelos conseguem processar centenas de milhares, ou mesmo milhões, de tokens em um único prompt, abrindo novas possibilidades para os desenvolvedores. No entanto, até que ponto esses LLMs de contexto longo realmente compreendem e utilizam as grandes quantidades de informações que recebem? Para abordar essa questão, pesquisadores do Google DeepMind lançaram um novo benchmark chamado Michelangelo, projetado para avaliar a capacidade de raciocínio em contextos longos. Os resultados da pesquisa indicam que...